Unter Erzbischof Berthold von Henneburg (1484-1504) wurde an die Südmauer ein Wohngebäude angefügt.
Erzbischof Lothar Franz von Schönborn 1719-21 ließ nach Beseitigung der mittelalterlichen Vorgängerbauten barocke Neubauten in Form des dreistöckigen Westflügels und des westlichen Teils des Südflügels errichten.
1976-81 fanden umfangreiche Restaurierungsmaßnahmen statt, wobei auch Wohnungen und ein Fastnachtsmuseum eingerichtet wurden.